Beliau lahir di bandar lokasie Kota Prospek, Johannesburg pada 4 Mac 1932 kepada Caswell Makeba, seorang guru berbangsa Xhosa dan Christina Makeba, seorang pembantu rumah berbangsa Swazi.[4][5][6] Nama " Zenzile diberikan daripada ungkapan bahasa Xhosa uzenzile "kamu yang mahu tanggung sendiri", diucapkan neneknya kepada ibunya yang berdegil mahu melahirkan anak kandungannya meskipun diberitahu mampu mengancam nyawanya.[7] 18 hari kemudian, ibunya ditahan kerana menjual arak jagung terangkum dalam undang-undang mengharamkan perniagaan minuman keras kepada warga kulit hitam sana.[5][8][9] Sementara itu, ayahnya mendapat kerja sebagai kerani untuk Shell Oil Company di Nelspruit (kini Mbombela) dan keluarganya berpindah sana selepas ibunya dibebaskan.[6][10]

Setelah ayahnya meninggal dunia, beliau, adik-beradik dan para sepupunya berpindah ke rumah nenek sebelah ibunya di lokasie Riverside pinggir Pretoria sambil ibunya berpindah ke pusat bandar Johannesburg sebagai pembantu rumah keluarga-keluarga bangsa kulit putih di sana.[6][11]

Beliau terlibat dalam kumpulan padu suara sekolah Methodis Kilnerton Training Institute di Pretoria selama lapan tahun.[5][12]